Apple y Meta AI presentan conjuntamente la nueva tecnología 'LazyLLM', diseñada para mejorar la eficiencia de los modelos de lenguaje grandes en la inferencia de textos largos. Las arquitecturas Transformer modernas enfrentan problemas de lentitud al procesar prompts largos, especialmente debido a la complejidad computacional que aumenta linealmente. Para abordar esto, LazyLLM emplea una estrategia de selección dinámica de tokens importantes, reduciendo la carga computacional mientras mantiene la precisión del modelo. Su mecanismo eficiente incluye la evaluación de las puntuaciones de atención de capas anteriores, la reducción dinámica del costo computacional, la restauración dinámica de los tokens podados y el uso de Aux Cache.